Cientistas ambientais estão usando cada vez mais modelos enormes de inteligência artificial para fazer previsões sobre mudanças no clima e no tempo, mas um novo estudo de pesquisadores do MIT mostra que modelos maiores nem sempre são melhores.

A equipe demonstra que, em certos cenários climáticos, modelos muito mais simples, baseados em física, podem gerar previsões mais precisas do que modelos de aprendizado profundo de última geração.

A análise também revela que uma técnica de benchmarking comumente usada para avaliar técnicas de aprendizado de máquina para previsões climáticas pode ser distorcida por variações naturais nos dados, como flutuações nos padrões climáticos. Isso pode levar alguém a acreditar que um modelo de aprendizado profundo faz previsões mais precisas, quando esse não é o caso.

Os pesquisadores desenvolveram uma maneira mais robusta de avaliar essas técnicas, o que mostra que, embora modelos simples sejam mais precisos ao estimar temperaturas de superfície regionais, abordagens de aprendizado profundo podem ser a melhor escolha para estimar a precipitação local.

Eles usaram esses resultados para aprimorar uma ferramenta de simulação conhecida como  emulador climático , que pode simular rapidamente o efeito das atividades humanas em um clima futuro.

Os pesquisadores veem seu trabalho como um "conto de advertência" sobre o risco de implementar grandes modelos de IA para a ciência climática. Embora os modelos de aprendizado profundo tenham demonstrado um sucesso incrível em áreas como a linguagem natural, a ciência climática contém um conjunto comprovado de leis físicas e aproximações, e o desafio é como incorporá-las aos modelos de IA.

“Estamos tentando desenvolver modelos que sejam úteis e relevantes para os tipos de questões que os tomadores de decisão precisam para o futuro ao fazer escolhas de políticas climáticas. Embora possa ser atraente usar o modelo mais recente e abrangente de aprendizado de máquina em um problema climático, o que este estudo mostra é que recuar e realmente refletir sobre os fundamentos do problema é importante e útil”, afirma a autora sênior do estudo, Noelle Selin, professora do Instituto de Dados, Sistemas e Sociedade (IDSS) do MIT e do Departamento de Ciências da Terra, Atmosféricas e Planetárias (EAPS), e diretora do Centro de Ciência e Estratégia da Sustentabilidade.

Os coautores de Selin são o autor principal Björn Lütjens, ex-pós-doutorado da EAPS e agora pesquisador científico na IBM Research; o autor sênior Raffaele Ferrari, Professor Cecil e Ida Green de Oceanografia na EAPS e codiretor do Centro Lorenz; e Duncan Watson-Parris, professor assistente da Universidade da Califórnia em San Diego. Selin e Ferrari também são copesquisadores principais do projeto "Trazendo a Computação para o Desafio Climático" , do qual surgiu esta pesquisa. O artigo foi publicado hoje no periódico Journal of Advances in Modeling Earth Systems .

Como o clima da Terra é tão complexo, executar um modelo climático de última geração para prever como os níveis de poluição impactarão fatores ambientais como a temperatura pode levar semanas nos supercomputadores mais poderosos do mundo.

Cientistas frequentemente criam emuladores climáticos, aproximações mais simples de um modelo climático de última geração, que são mais rápidos e acessíveis. Um formulador de políticas poderia usar um emulador climático para ver como suposições alternativas sobre as emissões de gases de efeito estufa afetariam as temperaturas futuras, ajudando-o a desenvolver regulamentações.

Mas um emulador não é muito útil se fizer previsões imprecisas sobre os impactos locais das mudanças climáticas. Embora o aprendizado profundo tenha se tornado cada vez mais popular para emulação, poucos estudos exploraram se esses modelos têm um desempenho melhor do que abordagens testadas e comprovadas.

Os pesquisadores do MIT realizaram um estudo desse tipo. Eles compararam uma técnica tradicional chamada escalonamento de padrões lineares (LPS) com um modelo de aprendizado profundo usando um conjunto de dados de referência comum para avaliar emuladores climáticos.

Os resultados mostraram que o LPS superou os modelos de aprendizado profundo na previsão de quase todos os parâmetros testados, incluindo temperatura e precipitação.

“Os grandes métodos de IA são muito atraentes para os cientistas, mas raramente resolvem um problema completamente novo. Portanto, é necessário implementar primeiro uma solução existente para descobrir se a abordagem complexa de aprendizado de máquina realmente a melhora”, diz Lütjens.

Alguns resultados iniciais pareciam contradizer o conhecimento de domínio dos pesquisadores. O poderoso modelo de aprendizado profundo deveria ter sido mais preciso ao fazer previsões sobre precipitação, já que esses dados não seguem um padrão linear.

Eles descobriram que a alta variabilidade natural nas execuções de modelos climáticos pode fazer com que o modelo de aprendizado profundo tenha um desempenho ruim em oscilações imprevisíveis de longo prazo, como El Niño/La Niña. Isso distorce as pontuações de benchmarking em favor do LPS, que calcula a média dessas oscilações.

A partir daí, os pesquisadores construíram uma nova avaliação com mais dados que abordam a variabilidade climática natural. Com essa nova avaliação, o modelo de aprendizado profundo teve um desempenho ligeiramente melhor que o LPS para precipitação local, mas o LPS ainda foi mais preciso para previsões de temperatura.

“É importante usar a ferramenta de modelagem certa para o problema, mas para fazer isso você também precisa configurar o problema da maneira certa desde o início”, diz Selin.

Com base nesses resultados, os pesquisadores incorporaram o LPS a uma plataforma de emulação climática para prever mudanças locais de temperatura em diferentes cenários de emissão.

“Não estamos defendendo que o LPS deva ser sempre o objetivo. Ele ainda tem limitações. Por exemplo, o LPS não prevê variabilidade ou eventos climáticos extremos”, acrescenta Ferrari.

Em vez disso, eles esperam que seus resultados enfatizem a necessidade de desenvolver melhores técnicas de avaliação comparativa, que possam fornecer uma imagem mais completa de qual técnica de emulação climática é mais adequada para uma situação específica.

“Com um benchmark de emulação climática aprimorado, poderíamos usar métodos de aprendizado de máquina mais complexos para explorar problemas que atualmente são muito difíceis de abordar, como os impactos de aerossóis ou estimativas de precipitação extrema”, diz Lütjens.

Em última análise, técnicas de avaliação comparativa mais precisas ajudarão a garantir que os formuladores de políticas tomem decisões com base nas melhores informações disponíveis.

Os pesquisadores esperam que outros desenvolvam suas análises, talvez estudando melhorias adicionais nos métodos e parâmetros de emulação climática. Essas pesquisas poderiam explorar métricas de impacto, como indicadores de seca e riscos de incêndios florestais, ou novas variáveis, como velocidades regionais do vento.

Esta pesquisa é financiada, em parte, pela Schmidt Sciences, LLC, e faz parte da equipe do MIT Climate Grand Challenges para “Trazendo a computação para o desafio climático”.